Het sober neoclassicistisch kasteel Forreist werd gebouwd in opdracht van Anselme de Peellaert, kamerheer van Napoleon Bonaparte. Hij wilde een landgoed oprichten, waardig om de keizer te ontvangen. Vermoedelijk werden de bouwwerken omstreeks 1808 aangevat, wellicht na integrale sloop van een oude hoeve. Na de val van Napoleon heeft Anselme de Peellaert geen geld meer om zijn project verder af te werken. Na zijn dood in 1817 blijft een leegstaand kasteel met onafgewerkte westvleugel achter.
Het onafgewerkte kasteel komt in handen van de familie Pecsteen de Lampreel die het bestaande kasteel laat verbouwen en de parkaanleg verruimen. Het wordt aanvankelijk bewoond door Charles-Honoré Pecsteen, sinds 1845 baron en één van de meest invloedrijke politici in Brugge en West-Vlaanderen in de eerste helft van de 19de eeuw.
Tussen 1907-1909 wordt het kasteel verbouwd en verfraaid met neoclassicistische elementen en uitgebreid naar plannen van de Brugse architect Louis Ernest Charels. In 1937 wordt het eigendom van de familie van Caloen - Rotsart de Hertaing. Na de Tweede Wereldoorlog werd het kasteel grondig gerestaureerd en verlaagd. Roger baron van Caloen, overleden in 1985 en z’n echtgenote Monique barones de Coninck de Merckem, die in 2012 overleed, waren de laatste bewoners van de adellijke familie van Caloen.
Het prachtig gerenoveerde kasteel Forreist werd in 2015 door Onroerend Erfgoed Vlaanderen beschermd als monument.